Modular TTT: Rethinking Test-Time Training as Composable Modules
模块化测试时训练：将 TTT 重新思考为可组合模块
🧭 序列建模 · TTT 框架
Shanghai Jiao Tong University · Shanghai Innovation Institute · ByteDance Seed
提出模块化 TTT 框架，将内部学习器建模为有向无环图，系统消融组件并发现关键设计原则
📌 工作参考价值（4 点）
- 可尝试用 TTT 替代 Transformer 做用户行为序列建模，受益于其在线学习特性，可能更高效处理长序列。
- 模块化设计思想可借鉴到推荐系统的特征交互或模型组件，将学习率、损失函数等也作为可配置模块，便于消融和新设计。
- 消融结论直接可用：使用单层非线性快权重网络，避免深度网络和归一化，采用小学习率初始化与权重衰减，可减少实现踩坑。
- 业务中若需轻量、增量更新的序列模型，TTT 的 fast-weight 机制可能比 Transformer 更节省 inference 开销，适合实时推荐场景。